Super Star: Towards Streaming Real-time Interactive Agents for Digital Humans
Super Star：面向数字人的流式实时交互智能体
🧭 多模态生成 · 实时交互数字人
ShanghaiTech University · LIGHTSPEED
提出因果多模态自回归模型与自进化数据闭环，实现数字人低延迟在线语音同步手势生成
📌 工作参考价值（4 点）
- 实时流式生成范式：在需要低延迟在线生成的场景（如对话式推荐、实时文案/回复生成、虚拟主播）可借鉴“仅用当前与历史信息”的因果模型设计，避免依赖未来信息，降低首字/首帧延迟。
- 自进化训练闭环：将在线交互中收集的用户反馈纳入数据生成与模型迭代，使系统持续适应用户偏好，这对电商导购 Agent、交互式推荐等长期在线服务有直接可迁移价值，但需设计反馈去噪与延迟更新机制。
- 数据合成管线：利用主题/情感感知的语料构建多样化对话，再条件生成训练数据，可用于解决交互式推荐或导购场景中高质量多轮对话数据不足的问题。
- 工程实现参考：流式多模态推理与缓存/增量计算的设计思路，可迁移到需要实时聚合文本、语音、用户行为等多路信号的 Agent 架构中。